谷仓（基准自动驾驶机器人导航）挑战在宾夕法尼亚州费城的2022年IEEE国际机器人和自动化国际会议（ICRA 2022）举行。挑战的目的是评估最先进的自动地面导航系统，以安全有效的方式将机器人通过高度约束的环境移动。具体而言，任务是将标准化的差分驱动地面机器人从预定义的开始位置导航到目标位置，而不会与模拟和现实世界中的任何障碍相撞。来自世界各地的五支球队参加了合格的模拟比赛，其中三支受邀在费城会议中心的一组身体障碍课程中相互竞争。竞争结果表明，尽管表面上显得简单，即使对于经验丰富的机器人主义者来说，在高度约束空间中的自主地面导航实际上远非解决问题。在本文中，我们讨论了挑战，前三名获胜团队所使用的方法以及学到的教训以指导未来的研究。
translated by 谷歌翻译
对机器人在现实世界中的准确控制需要一个控制系统，该控制系统能够考虑机器人与环境的动力学相互作用。在高速度下，机器人对这些运动动力学相互作用的运动依赖性变得更加明显，使高速，准确的机器人控制一个具有挑战性的问题。先前的工作表明，学习机器人的逆动力动力学（IKD）可能有助于高速机器人控制。但是，学习的逆运动动力学模型只能应用于有限的控制问题类别，不同的控制问题需要学习新的IKD模型。在这项工作中，我们提出了一种新的公式，用于精确，高速机器人控制，该配方利用了学习的前进运动动力学（FKD）模型和非线性最小二乘优化。从公式的本质上讲，这种方法可以扩展到各种各样的控制问题，而无需重新培训新模型。我们证明了这种方法在高速上准确控制刻度的十分之一机器人车的能力，并显示出比基线相比的结果。
translated by 谷歌翻译
高速偏离地面车辆的高速偏离道路导航的主要挑战之一是，车辆地形相互作用的动力动力学会根据地形而大不相同。以前解决这一挑战的方法已经考虑学习一种基于车辆的惯性信息，以感知运动动力学相互作用。在本文中，我们假设，除了过去的惯性信息外，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来，还必须预料到将来的动力学相互作用，以实现精确的高速越野导航。为此，我们引入了视觉惯性逆动力动力学（VI-IKD），这是一种新型的基于学习的IKD模型，除了过去的惯性信息外，还基于从机器人前面的地形贴片的视觉信息进行条件，使其能够预期会素动力学相互作用在将来。我们在室内和室外环境中验证了VI-IKD在实验上进行实验性高速越野导航的有效性ART方法，VI-IKD可以以高达3.5 m/s的速度在各种不同的地形上更准确，更强大的越野导航。
translated by 谷歌翻译
社会导航是自治人（例如机器人）在其他智能代理（如人类）的面前以“社会符合社会规定”方式导航的能力。随着在人口稠密环境中自动浏览移动机器人的出现（例如，家庭和餐馆中的家庭服务机器人以及公共人行道上的食品送货机器人），在这些机器人上纳入社会符合社会符合社会符合社会的导航行为对于确保安全和舒适的人类机器人的同存至关重要。为了应对这一挑战，模仿学习是一个有前途的框架，因为人类更容易演示社会导航的任务，而不是制定奖励功能，以准确捕获社会导航的复杂多目标设置。然而，当前缺乏大规模数据集以捕获野外捕获社会符合社会符合社会的机器人导航示范的大规模数据集，目前阻碍了模仿学习和逆强化学习到移动机器人的社会导航。为了填补这一空白，我们向社会兼容的导航数据集（Scand）引入了一个大规模的，第一人称视图数据集的社会兼容导航演示数据集。我们的数据集包含8.7个小时，138个轨迹，25英里的社会符合人类的远程手工驾驶演示，包括多态数据流，包括3D激光雷达，操纵杆命令，探测仪，视觉和惯性信息，在两个形态上不同的移动机器人上收集了波士顿动力学的两种形态上的移动机器人以及在室内和室外环境中的四个不同人类示威者的清晰jack狼。我们还通过现实世界机器人实验进行初步分析和验证，并表明通过模仿学习扫描的导航政策会产生社会符合社会的行为
translated by 谷歌翻译
2022-02-01
模仿学习研究社区最近取得了重大进展，以使人工代理人仅凭视频演示模仿行为。然而，由于视频观察的高维质性质，针对此问题开发的当前最新方法表现出很高的样本复杂性。为了解决这个问题，我们在这里介绍了一种新的算法，称为使用状态观察者VGAIFO-SO从观察中获得的，称为视觉生成对抗性模仿。 Vgaifo-So以此为核心，试图使用一种新型的自我监管的状态观察者来解决样本效率低下，该观察者从高维图像中提供了较低维度的本体感受状态表示的估计。我们在几个连续的控制环境中进行了实验表明，Vgaifo-SO比其他IFO算法更有效地从仅视频演示中学习，有时甚至可以实现与观察（Gaifo）算法的生成对抗性模仿（Gaifo）算法的性能，该算法有特权访问访问权限示威者的本体感知状态信息。
translated by 谷歌翻译
人类对象与铰接物体的相互作用在日常生活中很普遍。尽管单视图3D重建方面取得了很多进展，但从RGB视频中推断出一个铰接的3D对象模型仍然具有挑战性，显示一个人操纵对象的人。我们从RGB视频中划定了铰接的3D人体对象相互作用重建的任务，并对这项任务进行了五个方法家族的系统基准：3D平面估计，3D Cuboid估计，CAD模型拟合，隐式现场拟合以及自由 - 自由 - 形式网状配件。我们的实验表明，即使提供了有关观察到的对象的地面真相信息，所有方法也难以获得高精度结果。我们确定使任务具有挑战性的关键因素，并为这项具有挑战性的3D计算机视觉任务提出指示。短视频摘要https://www.youtube.com/watch?v=5talkbojzwc
translated by 谷歌翻译
我们介绍了一种新颖的方法，用于使用时间戳监督进行时间戳分割。我们的主要贡献是图形卷积网络，该网络以端到端方式学习，以利用相邻帧之间的帧功能和连接，以从稀疏的时间戳标签中生成密集的框架标签。然后可以使用生成的密集框架标签来训练分割模型。此外，我们为分割模型和图形卷积模型进行交替学习的框架，该模型首先初始化，然后迭代地完善学习模型。在四个公共数据集上进行了详细的实验，包括50种沙拉，GTEA，早餐和桌面组件，表明我们的方法优于多层感知器基线，同时在时间活动中表现出色或更好地表现出色或更好在时间戳监督下。
translated by 谷歌翻译
中风康复旨在通过功能运动的重复实践来增加神经塑性，但由于重复不足，对恢复可能具有最小的影响。最佳培训内容和数量目前未知，因为不存在测量它们的实用工具。在这里，我们呈现Primseq，一个管道来分类和计算在笔划康复中培训的功能动作。我们的方法集成了可穿戴传感器来捕获上体运动，深度学习模型来预测运动序列，以及对Tally Motions的算法。训练有素的模型将康复活动分解成组件功能运动，优于竞争性机器学习方法。 Primseq进一步在人类专家的时间和劳动力成本的一小部分中量化了这些动作。我们展示了以前看不见的中风患者的Primseq的能力，这是一系列上肢电机损伤。我们预计这些进步将支持在中风康复中定量给药试验所需的严格测量。
translated by 谷歌翻译
从视频和动态数据自动活动识别是一种重要的机器学习问题，其应用范围从机器人到智能健康。大多数现有的作品集中在确定粗动作，如跑步，登山，或切割植物，其具有相对长的持续时间。这对于那些需要细微动作中的高时间分辨率识别应用的一个重要限制。例如，在中风恢复，定量康复剂量需要区分具有亚秒持续时间的运动。我们的目标是弥合这一差距。为此，我们引入了一个大规模，多数据集，StrokeRehab，为包括标记高时间分辨率微妙的短期操作的新动作识别基准。这些短期的行为被称为功能性原语和由河段，运输，重新定位，稳定作用，和空转的。所述数据集由高品质的惯性测量单元的传感器和执行的日常生活像馈送，刷牙等的活动41中风影响的病人的视频数据的，我们表明，基于分割产生嘈杂状态的最先进的现有机型预测时，对这些数据，这往往会导致行动超量。为了解决这个问题，我们提出了高分辨率的活动识别，通过语音识别技术的启发，它是基于一个序列到序列模型，直接预测的动作序列的新方法。这种方法优于国家的最先进的电流在StrokeRehab数据集的方法，以及对标准的基准数据集50Salads，早餐，和拼图。
translated by 谷歌翻译
我们为无监督活动分割提出了一种新方法，它使用视频帧聚类作为借口任务，并同时执行表示学习和在线群集。这与先前作品相反，其中通常顺序地执行表示学习和聚类。我们通过采用时间最优运输来利用视频中的时间信息。特别是，我们纳入了一个时间正则化术语，其将活动的时间顺序保留到用于计算伪标签群集分配的标准最佳传输模块中。时间最优传输模块使我们的方法能够学习无监督活动细分的有效陈述。此外，先前的方法需要在以离线方式培养它们之前对整个数据集的学习功能存储在整个数据集中，而我们的方法在在线方式一次处理一个迷你批次。在三个公共数据集，即50沙拉，YouTube说明和早餐以及我们的数据集，即桌面装配的广泛评估表明，我们的方法在PAR或更优于以前的无监督活动分割方法，尽管内存限制显着较低。
translated by 谷歌翻译